Learning What to Remember: Long-horizon Counterfactual Memory Optimization
学习该记住什么：长时程反事实记忆优化
🧭 长时记忆优化 · 反事实信用分配 ★ 深度解读
University of Michigan
提出 MGPO 用反事实差分给每次记忆改写分配长时程增量效用，训练紧凑可迁移记忆策略
📌 工作参考价值（4 点）
- 在会话式推荐或多轮 Agent 中，对用户画像/上下文的每次更新，用反事实差分评估该更新对后续推荐或决策的增量价值，而不是仅用最终转化或奖励信号，能更准确地学习何时保留、丢弃或改写记忆。
- 工程上解耦记忆写入器与下游读取器（推荐模型/LLM），可以用小模型训练 compact 记忆生成策略，再服务于多个大模型，降低推理延迟和成本；论文中 8B writer + 14B reader 的组合可跨模型家族复用。
- 采用 potential-based reward shaping 技巧：从回报中减去更新前状态的未来效用作为控制变量，保持策略梯度无偏同时降低方差，训练更稳定。
- 对于长文档/长会话中延迟价值的信息，设计跨未来多个步骤的边际收益聚合，并用位置相关 EMA 归一化不同步长的回报，可借鉴到长时记忆策略的 RL 训练。